CRoS：基于打乱思维链顺序的因果奖励提升推理准确性与忠实度
🧭 LLM 推理训练 · 因果奖励设计
UNC Chapel Hill
用打乱推理步骤顺序而非改变信息内容的因果奖励，缓解结果奖励无法保证 CoT 因果贡献的问题
📌 工作参考价值（4 点）
- 在电商/Agent 场景做 LLM 强化学习时，若只用最终结果正确性做 reward，模型可能产出与答案无关的低质量推理。可借鉴 CRoS 思路：对生成的多步推理/决策轨迹做顺序打乱，观察最终答案是否变化，作为因果性奖励信号。
- 对搜索推荐里的 query 改写、推荐理由生成、Agent 工具调用轨迹等，可以先按步骤/换行/工具调用边界切分，然后随机 shuffle 几步，让模型重新给答案；若答案对顺序不敏感则说明推理缺乏因果链条，适合作为负样本或扣分项。
- 相比删除步骤或注入错误，shuffle 不损失信息，能避免模型钻空子生成冗余、低信息量 CoT；在 reward 工程中可优先采用这种破坏顺序而非内容的因果性检验方式。
- 实现成本不高：只需对已有 RLVR 流程增加一次打乱后前向推理和一致性打分，适合作为 LLM-based recommender / Agent 的辅助 reward 或 offline 过滤指标。
CARL：聊天辅助强化学习
🧭 LLM 辅助 RL 规范工程
Santa Clara University · Franklin Templeton
通过人机协同的十步规范工作流与自主工具循环，解决 RL 的规范与性能差距，避免奖励黑客和状态混叠
📌 工作参考价值（4 点）
- 在推荐/广告的强化学习项目中，reward hacking 与状态混叠是常见翻车点。可借鉴 CARL 的“先交互式确认 MDP + 奖励项权重，再生成训练代码”流程，让业务专家在建模前明确状态、动作、约束及多目标权重，减少上线后目标漂移。
- LLM 助手 persona + 步骤级 skill files 结构能引导非 RL 背景的业务/产品参与 RL 任务规范，适合内部自动化建模平台；紧凑决策摘要可跨迭代保留业务约束，避免长对话上下文过载，可直接复用到多轮需求澄清工具。
- 自主工具循环（生成-测试-调试）加训练后诊断重访，适合封装成半自动 RL pipeline 工具，把算法工程师从工程实现中解放出来，聚焦奖励设计与业务验证。
- 论文示例偏金融/控制，但工作流与 persona/skill 机制可迁移到电商强化学习系统的策略调试与参数治理。
NeutronGym：面向 LLM Agent 的物理分级中子仪器设计环境
🧭 LLM Agent 科学仪器设计与 RL 训练环境 ★ 深度解读
Oak Ridge National Laboratory
首个可执行中子仪器设计环境，用无 LLM 评判的物理分级奖励训练 8B 模型超越未训练 32B
📌 工作参考价值（4 点）
- 奖励塑形：把最终业务指标拆成可验证的中间层（输入合法→系统可执行→返回结构完整→业务指标达标），每层给部分信用。文中去掉部分信用导致 pass rate 从 76.7% 暴跌至 16.7%，说明密集课程式奖励是 RL 稳定训练的关键，推荐 Agent 做 RL 时不要只用稀疏 GMV/转化作奖励。
- 防 reward hacking 的 no-model 基线：上线前用固定答案、读题规则、跨实例迁移三种 probe 检测任务是否可被捷径破解。对应电商场景应先跑规则基线（热门、复制 prompt 限制、历史均值），避免把“背答案”当成模型能力。
- 工具调用前置校验：22 个工具在调用时即校验组件与参数合法性，把编译错误前置到工具层。Agent 链路中应对每个工具输入做 schema 校验并返回最近合法选项，减少多轮失败和无效探索。
- 不要只用成功样本做 SFT：克隆自己成功轨迹的模仿学习在文中让 pass rate 从 40.3% 跌到 31.3%，而 on-policy RL 训练包含失败轨迹效果更好。推荐 Agent 微调时应保留失败探索轨迹做 RL，避免只喂高转化样本导致分布偏移。
Rufus-Air：开源 LLM 后训练配方
🧭 LLM 后训练全流程配方 ★ 深度解读
Amazon
公开 GLM-4.5-Air-Base 的完整后训练配方，以难度过滤和奖励可靠性排序驱动 8 阶段训练，显著超越官方 release
📌 工作参考价值（4 点）
- SFT 配比看 token 而非 sample：长轨迹类别（Math、Coding Agent）在 sample 占比不高但贡献近半训练 token。业务上做生成式模型 SFT 时，应按 loss-contributing tokens 评估数据配比，避免被 sample count 误导。
- 难度过滤作为自动课程：RL 阶段统一剔除“已解决”和“不可学”的 prompt，只保留策略当前可进步的区间，随策略提升自动滚动。此思路可直接用于电商文案生成、query 改写、Agent 工具调用的 RL 训练，减少无效 rollout 和梯度噪声。
- 按奖励可靠性排阶段：先跑可验证奖励（规则、执行测试），后跑 judge/model-based 奖励，缩短奖励被 hack 的暴露时间。多阶段 RLHF 或对齐训练时，可借鉴该顺序，把 IF 类接近已有能力的软奖励提前，把开放偏好奖励放最后。
- 基础设施也是配方：统一 chat template、token-in/token-out rollouts、Rollout Routing Replay、可靠 sandbox 服务对 MoE 稳定训练至关重要。搭建内部 RL 框架时，这些工程细节应作为一等公民，而非实现细节。
T1：面向长程任务的终端Agent强化学习
🧭 终端Agent强化学习与MoE稳定训练 ★ 深度解读
Tencent Hy Foundation Model Frontier · National University of Singapore · University of Georgia · Indiana University · University of Maryland, College Park
122B MoE终端Agent靠RL在Terminal-Bench 2.1达64%，用TITO+R3稳定训练与密集验证奖励
📌 工作参考价值（4 点）
- MoE 训练-推理一致性：对大规模稀疏模型，记录推理时每个 token 的专家路由掩码并在训练时重放（R3），同时让训练直接消费采样时的 token ID 而非重新渲染文本（TITO），可消除训练-推理 log-prob gap，避免梯度更新到错误的专家子网络。对推荐系统中带 MoE 的排序或召回模型同样适用。
- 密集奖励设计：用绝对通过断言数而非通过比例作为 RL 奖励，并固定全局尺度（S=20），保留不同难度任务/用户价值差异。在电商多目标 RL 中，可借鉴“绝对达成数”作为奖励，避免归一化掩盖长尾或高价值任务。
- Critic warm-up 与健康度监控：先在有监督数据上预热 critic 一个 epoch，设置 critic 学习率为 actor 的 30x，并用 explained variance（全局方差约减）持续监控。冷启动 critic 可能导致 EV 为负，大幅拖慢 RL 收敛。
- 数据质量审计防 reward hacking：用 LLM 对训练任务做语义审计，硬拒绝隐藏需求、测试泄漏、解决方案捷径、verifier 过弱等。在推荐/Agent 任务构造中，可复用该流程过滤低质量或可被刷分的训练样本。
InternReviewer 与 InternAdvocate：同行评审与反驳的客观奖励与评估
🧭 Agentic RL 学术评审智能体
Shanghai AI Laboratory · Beijing Jiaotong University · Tsinghua University · Renmin University of China
用客观多维 reward 与严格引文验证训练学术评审/反驳 Agent，减少主观评判偏差和幻觉
📌 工作参考价值（4 点）
- 评估与奖励去偏：用多维客观指标（reference-anchored semantic alignment、structural compliance、citation verification）替代单一大模型打分，减少 reward hacking 和主观偏差。在生成式推荐/导购文案中，可定义商品属性一致性、结构模板、引用可验证等可计算的 reward。
- 可验证的引用日志交叉核对：将生成内容中的声明与实时检索/工具调用日志强制对齐，能直接迁移到电商 RAG 问答和商品描述生成，降低幻觉（如虚构参数、不存在的促销）。
- Agentic RL 闭环：先检索证据再生成、用严格验证作为 reward 信号，可复用为“检索-生成-校验” pipeline，适用于需要事实性的营销文案、售后应答等。
- 数据集构建：建设高质量垂直领域数据 + 高效检索工具，是提升 Agent 落地效果的基础，电商可借鉴构建商品知识库与交互日志。
强化学习优化LLM生成过程模型：奖励函数设计研究
🧭 结构化生成 · 奖励函数设计
German Research Center for Artificial Intelligence (DFKI) · Saarland University
RL 通过奖励函数设计显著提升 BPMN 模型的语法和语用质量，并揭示等权重优于定向加权等关键发现
📌 工作参考价值（4 点）
- 在多维度自动评估的生成任务（如推荐理由、搜索 query 改写）中，奖励函数采用等权重组合各维度指标通常优于刻意侧重某一维度，避免模型坍缩到局部最优。
- 设计奖励函数时需结合模型架构进行实验：某些惩罚项（如无效输出惩罚）对一种模型至关重要，对另一种可能无效，应针对自身模型做消融。
- SFT 初始化并非总是有益的，有时反而损害 RL 优化效果，实际落地前应验证无 SFT 的 RL 基线。
- RL 能大幅降低生成输出的方差（本研究降低 6 倍以上），适合需要稳定输出的业务场景，如自动化消息推送文案生成。
基于鲁棒评分标准的强化学习奖励方法
🧭 多模态准则级强化学习奖励设计
Huawei Technologies Co., Ltd.
将RLVR扩展到准则级验证，通过LLM抽取器+确定性验证器与LLM评判双路径、最小暴露和分层聚合，显著提升多模态模型性能
📌 工作参考价值（4 点）
- 推荐/Agent 的多目标优化可借鉴分层聚合思想，将核心指标（如点击率、转化率）作为 essential criteria 优先保障，辅助指标（如 diversity）按权重融合，避免多目标互相干扰。
- 对于部分可验证的业务指标（如推荐结果是否符合政策规范），可采用“确定性规则提取 + LLM 评判”双路径奖励：先用规则快速检查硬约束，再用 LLM 评估主观质量，兼顾效率与灵活度。
- 最小暴露策略（屏蔽 ground truth 或原始图片）可直接用于奖励函数设计，防止模型学习到利用奖励漏洞的采样行为，提升在线 RL 训练的稳定性。
- rollout 组内分数缓解饱和的技巧可迁移到推荐策略梯度训练中，通过组内 baseline 或标准化避免模型过早收敛到次优策略。